Sau khi ông từ chức Chủ tịch Hội đồng Bộ trưởng Liên Xô, năm 1986 ông được bổ nhiệm làm Cố vấn Nhà nước Đoàn Chủ tịch Xô viết Tối cao Liên Xô.

Năm 1989, ông chính thức nghỉ hưu hoàn toàn. Tikhonov đã viết một lá thư cho Mikhail Gorbachev trong đó nói rằng ông rất tiếc khi ủng hộ việc bầu Gorbachev làm Tổng Bí thư. Quan điểm này càng được củng cố khi Đảng Cộng sản bị cấm ở Liên Xô. Sau khi nghỉ hưu, ông sống phần đời còn lại trong ẩn dật tại căn nhà gỗ của mình. Ông sống như "một ẩn sĩ" và không bao giờ thể hiện mình trước công chúng và cuộc sống sau này của ông rất khó khăn vì ông không có con và vì vợ ông đã mất.

“Khi ông nhận một căn hộ ba phòng ở chung cư khi còn là Phó chủ tịch, ông đã sống ở đó với vợ cho đến khi qua đời. Họ không có con, và sống rất khiêm tốn. Ông, với tư cách là một cựu thủ tướng, đã để lại một biệt thự, an ninh và một khoản lương hưu cá nhân. Tikhonov không có bất kỳ khoản tiết kiệm nào. Khi làm việc trong chính phủ, ông và vợ đã dành toàn bộ số tiền của mình để mua xe buýt, số tiền mà họ tặng cho các đội tiên phong và trường học. Sau khi Liên Xô tan rã, lương hưu cá nhân bị hủy bỏ, và ông nhận lương hưu cao niên khi về già. Thi thoảng những người an ninh mua trái cây biếu cho ông" - Mikhail Smirtyukov, 2000

Không lâu trước khi qua đời, ông đã viết một bức thư gửi Tổng thống Yeltsin: “Tôi yêu cầu anh chôn cất tôi với chi phí của nhà nước, vì tôi không có tiền tiết kiệm tài chính”.

Ông mất ngày 1 tháng 6 năm 1997 tại tỉnh Moskva. Ông được chôn cất tại nghĩa trang Novodevichy ở Moskva bên cạnh mẹ và vợ.